เอ็ดเวิร์ด เทลเลอร์ เกิดเมื่อวันที่ 15 มกราคม ค.ศ. 1908 ที่เมืองบูดาเปสต์ ในประเทศฮังการี บิดามีฐานะดี และมีเชื้อชาติยิว ในช่วงเวลานั้นฮังการีกำลังมีความวุ่นวายมาก เพราะถูกยึดครองโดยออสเตรีย และถูกสงครามโลกครั้งที่หนึ่งทำลายจนผู้คนในประเทศแตกแยก แล้วถูกคอมมิวนิสต์คุกคามด้วยการเข้าครอบครอง นอกจากนี้รัฐบาลฮังการียังต่อต้านคนยิวด้วยการออกกฎหมายจำกัดจำนวนนักศึกษา เชื้อชาติยิวที่จะเข้าศึกษาในมหาวิทยาลัย (numerus clausus) ครอบครัวของเทลเลอร์ก็เช่นเดียวกับครอบครัวชาวยิวอื่นๆ ที่ต่างก็พยายามให้การศึกษาที่ดีแก่ลูกๆ เพื่อให้ไปเรียนต่อที่ประเทศเยอรมนี เพราะที่นั่นมีมาตรฐานและคุณภาพการศึกษาสูงกว่า โดยเฉพาะด้านวิทยาศาสตร์ และภาษาเยอรมัน ขณะนั้น คือ ภาษาที่นักวิทยาศาสตร์ทั่วโลกใช้

เมื่ออายุ 18 ปี เทลเลอร์ได้เดินทางไปเรียนวิชาวิศวกรรมเคมีที่มหาวิทยาลัย Karlsruhe และวิชาฟิสิกส์ที่มหาวิทยาลัยมิวนิก เทลเลอร์ได้รับปริญญาเอกฟิสิกส์จากมหาวิทยาลัย Leipzig ในปี 1930 โดยมี Werner Heisenberg (รางวัลโนเบลสาขาฟิสิกส์ ปี ค.ศ. 1932) เป็นอาจารย์ที่ปรึกษา ขณะเรียนที่มิวนิก ในปี ค.ศ. 1928 เทลเลอร์ถูกรถรางแล่นทับเท้าขวาทำให้ต้องเข้ารับการผ่าตัด จนต้องมีไม้เท้าช่วยพยุงเวลาเดิน และเทลเลอร์จะใช้ไม้เท้ากระแทกพื้นทุกครั้งที่ต้องการเน้นให้ผู้คนสนใจฟังตนพูด[2]